誤植や誤りと思われる箇所(Transformerによる自然言語処理 3章)
p.66 3.2.3(原著の? 誤り)
トークナイザは訓練に要した時間を出力する。
CPU timesやWall timesの出力は%%timeによる
「トークナイザは」だとトークナイザが処理時間も表示するように読めてしまう。ここが不正確と考える
案「トークナイザの訓練に要した時間が出力される。」
原文は未確認
p.69 3.2.7の説明(誤り)
モデルサイズは52,000、語彙サイズは12 attentionヘッド、6層だ。
モデルサイズと語彙サイズを取り違えているように思われる
正しくはこうなるのでは?
モデルサイズは12 attentionヘッド、6層
根拠:num_attention_heads=12, num_hidden_layers=6
別の根拠
6層12ヘッドのBERTモデル(p.70 3.2.9)
語彙サイズは52,000
根拠:vocab_size=52_000
p.69 3.2.7のコード(誤植)
fromtransformersimportRobertaConfigと詰まってしまっている
正 from transformers import RobertaConfig
p.72 3.2.9 aのコード(誤植)
for pin range(0,lp):
正 for p in range(0,lp):
p.77 3.2.14 (typo)
pytorh_model.bin
正 pytorch_model.bin(cが落ちている)
根拠 図3.5にあるファイル名
p.77 3.2.15 (誤植)
code:typo
model="./KantaiBERT",
tokenizer="./KantaiBERT"
code:正:(バッククォートが不要)
model="./KantaiBERT",
tokenizer="./KantaiBERT"